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KONSTLICHEN TRAININGSDATENVEKTORS fQr ein neuronales NETZ 

(57) Abstract 



A residual error (101) is determined after neuronal 
network training has occurred. A backward error (102) is 
determined from the residual error. Artificial training data 
vectors are generated from a statistic random process with 
an underlying statistic distribution, wherein the respective 
backward error is considered for a neuronal network input (103, 
104). 

(57) Zusammenfassung 

Nach erfolgtera Training eines neuronalen Netzes wird 
ein Restfehler ermittelt (101). Aus dem Restfehler wird ein 
Rttckwartsfehler ermittelt (102). Kunstliche Trainingsdaten- 
vektoren werden aus einem statistischen Zufallsprozefl gener- 
iert, dem einc statistische Verteilung zugnindeiiegt, bei der der 
jeweilige RQckwartsfehler fTJr einen Eingang des neuronalen 
Netzes berttcksichtigt wird (103, 104). 
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Beschreibung 

5 Verfahren und Vorrichtung zur rechnergestutzten Generierung 
mindestens eines kunstlichen Trainingsdatenvektors fur ein 
neuronales Netz 

1, Technischer Hintercrrund 

10 

Neuronale Netze lernen mit Hilfe von Trainingsdaten . Die 
Trainingsdaten sind in vielen Anwendungsgebieten sehr 
verrauscht , beispielsweise bei der Modellierung von 
Finanzdaten wie Aktien- oder Wahrungskursen . Somit erhalten 
15 die Trainingsdaten zufallige Storungen, die nichts mit der 
eigentlich zu model lierenden Systemdynamik zu tun haben. 

Durch die Approximationsf ahigkeit der neuronalen Netze kann 
aber auch die transiente Struktur des zufalligen Rauschens 

20 gelernt werden. Dieses Phanomen wird als Ubertrainieren des 
neuronalen Netzes bezeichnet . Durch ein ubertrainiertes 
neuronales Netz wird in sehr verrauschten Systemen der 
Lernvorgang des neuronalen Netzes erheblich behindert , da die 
Verallgemeinerungsf ahigkeit des neuronalen Netzes negativ 

25 beeinfluSt wird. 

Dieses Problem gewinnt in Anwendungsgebieten an Bedeutung, in 
denen nur eine geringe Anzahl von Trainingsdatenvektoren zur 
Adaption des neuronalen Netzes an die Anwendung, d.h. die zu 
3 0 modellierende, durch die Trainingsdatenvektoren 
reprasentierte Funktion, verfugbar ist . 

Vor alien in diesen Anwendungsgebieten, aber auch allgemein 
in einem Trainingsverf ahren eines neuronalen Netzes ist es 
35 vorteilhaft, zusatzliche Trainingsdatenvektoren kunstlich zu 
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generieren, um somit eine grofiere Trainingsdatenmenge zu er- 
halten. 

2 . Stand der Technik 

5 Es ist bekannt, die Generierung der kunstlichen Trainingsda- 
tenvektoren durch Verrauschen der verfugbaren Trainingsdateh- 
vektoren der Trainingsdatenmenge durchzufuhren. Es ist in 
diesem Zusammenhang aus dem Dokument [1] bekannt, die Trai- 
ningsdatenmenge mit gauEfdrmigem Rauschen mit dem Mittelwert 
10 0 und einer Varianz a, die fur alle Eingange des neuronalen 
Netzes auf den gleichen Wert gesetzt wird, zu ermitteln. 

Aus [4] ist es bekannt, Trainingsdaten durch Einfiihrung zu- 
satzlichen Rauschens zu generieren. Dabei ist es bekannt, die 
15 sogenannte Jackknif e-Prozedur einzusetzen. 

Dieses Verfahren weist jedoch einige Nachteile auf. 

Dadurch, daS zur Generierung der zusatzlichen Trainingsdaten- 
20 vektoren als statistische Verteilung, die zur Generierung 

verwendet wird, ein gauSformiges Rauschen mit einer Varianz 
verwendet wird, die fur alle Eingange des neuronalen Netzes 
auf den gleichen Wert gesetzt wird, werden Trainingsdatenvek- 
toren neu generiert , die keinerlei Aussage uber das zu model- 
25 lierende System enthalten. Die Trainingsdatenvektoren enthal- 
ten ferner keinerlei Information liber das tatsachliche , dem 
System zugrundeliegende Rauschen. Somit wird zwar die Trai- 
ningsdatenmenge vergroSert, diese muS aber nicht den Lernvor- 
gang unterstiitzen, da ein fest vorgegebenes Rauschen, das mit 
30 der eigentlichen Systemdynamik nichts zu tun hat, zum Trai- 
nieren des neuronalen Netzes verwendet wird. Damit kann es 
dann trotzdem zum Ubertrainieren kommen. 

Grundlagen uber neuronale Netze sind beispielsweise aus dem 
3 5 Dokument [2] bekannt. 
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Grundlagen uber Verwendung der neuronalen Netze in der Okono- 
mie sind beispielsweise aus dem Dokument [3] bekannt . 

3 . Kurzbeschreibuna der Erf induna 

Somit liegt der Erfindung das Problem zugrunde, kunstlich 
neue Trainingsdatenvektoren fur ein neuronales Netz zu bil- 
den, wobei jedoch ein Ubertrainieren des neuronalen Netzes 
vermieden wird. 

Das Problem wird durch das Verfahren gemafi Patentanspruch 1 
sowie durch die Vorrichtung gemaS Patentanspruch 9 gelost . 

Bei dem Verfahren wird nach dem Training des neuronalen Net- 
zes mit verfugbaren Trainingsdatenvektoren einer Trainingsda- 
tenmenge ein Restfehler ermittelt. Aus dem Restfehler wird 
beispielsweise unter Verwendung eines Gradient enabstiegs- 
Verfahren ein eingangsbezogener Ruckwartsf ehler ermittelt . 
Die Ermittlung des Ruckwartsf ehlers entspricht der ublichen 
Vorgehensweise wahrend des Trainings eines neuronalen Netzes 
zur Adaption der einzelnen Gewichte des neuronalen Netzes. 
1st der eingangsbezogene Ruckwartsf ehler ermittelt worden, 
wird unter Berucksichtigung des jeweiligen Ruckwartsf ehlers 
eine dem jeweiligen Eingang zugeordnete statist ische Vertei- 
lung generiert, und der kiinstliche Trainingsdatenvektor wird 
unter Berucksichtigung der jeweiligen statist ischen Vertei- 
lung an den Eingangen des neuronalen Netzes erzeugt . 

Mit diesem Verfahren ist es mdglich, zusatzliche Trainingsda- 
tenvektoren zu generieren, die eine Information uber das neu- 
ronal Netz und die Struktur des neuronalen Netzes aktuell 
nach dem Training des neuronalen Netzes mit den verfiigbaren 
Traindingsdatenvektoren enthalten. 

Dies fuhrt dazu, daS die kunstlich erzeugten Trainingsdaten- 
vektoren von dem Ruckwartsf ehler , der nach dem Training des 
neuronalen Netzes noch exist iert, abhangig sind und somit von . 
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der Performanz des neuronalen Netzes abhangen. Dies fiihrt da- 
zu, dafi die erzeugten Trainingsdatenvektoren Information uber 
das zu modellierende System enthalten. Auf diese Weise kann 
ein Ubertrainieren des neuronalen Netzes durch die zusatzli- 
5 chen Trainingsdatenvektoren vermieden werden. 

Die Vorrichtung gemafi Patentanspruch 9 weist eine Rechenein- 
heit auf, die derart eingerichtet ist, daB die oben beschrie- 
benen Verf ahrensschritte durchgefiihrt werden. 

10 

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus 
den abhangigen Anspriichen. 

Es ist vorteilhaft, bei einer Online-Approximation des neuro- 
15 nalen Netzes, die auch als Online -Training bezeichnet wird, 
auch die jeweilige statistische Verteilung dem veranderten 
Trainingsdatensatz anzupassen. Dadurch wird das zu modellie- 
rende System noch genauer durch das neuronale Netz model - 
liert . 

20 

4. Kurze Fiourenbeschreibxing 

In den Figuren ist ein Ausf uhrungsbeispiel der Erfindung dar- 
gestellt, welches im weiteren naher erlautert wird. 

25 

Es zeigen 



Fig. 1 ein Ablauf diagramm, in dem die einzelnen Ver- 

f ahrensschritte des Verfahrens dargestellt sind; 

30 

Fig. 2 eine Skizze, in der eine Rechneranordnung darge- 
stellt ist, mit der das Verfahren durchgefiihrt 
werden kann. 

35 5 . FicrurenbeBchreibunq 
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In Fig. 1 sind die einzelnen Verf ahrensschritte des Verfah- 
rens dargestellt. 

In einem ersten Schritt (101) wird nach abgeschlossenem Trai- 
5 ning des neuronalen Netzes NN mit einer beliebigen Anzahl von 
Trainingsdatenvektoren TDVi einer Trainingsdatenmenge TDM von 
einem Rechner R ein Restfehler RE ermittelt. 

Der Restfehler RE wird beispielsweise bei m Trainingsdaten- 
10 vektoren TDV mit den Trainingsdatenvektoren TDV zugeordneten 
Sollwerten t^, wobei mit einem Index i jeweils der Trainings - 
datenvektor TDVi eindeutig gekennzeichnet wird, auf folgende 
Weise ermittelt : 

m 

15 RE = S( fc i " Y±) <D • 

i = l 

Es kann jedoch selbstverstandliche jede beliebige andere Vor- 
schrift zur Bildung des Restfehlers RE nach dem Training des 
neuronalen Netzes NN verwendet werden. 

20 

Nach Ermittlung des Restfehlers wird ein Ruckwartsf ehler RFj 
ermittelt (102) . Die Bestimmung des Ruckwartsf ehlers RF kann 
beispielsweise unter Verwendung eines Gradientenabstiegs- 
Verfahrens nach den Eingangssignalen der neuronalen Netze NN 
25 erfolgen. 

Im weiteren wird folgende Nomenklatur fur den Trainingsdaten- 
vektor TDVi, sowie die Eingangsdaten des neuronalen Netzes 
NN, die sich aus den Trainingsdatenvektoren TDVi und einem 
3 0 Rauschtermvektor e ergeben, verwendet: 

Trainingsdatenvektor TDVi : x = (x 1# . . . , x j , . . . , x n ) 
Rauschtermvektor: e = (e^, e j , . e n ) 
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Eingangsdatenvektor : z = (x^^+e^^, . . . , x j+^j / - • • * x n+ e n> 

Mit n wird eine Anzahl von Komponenten der Trainingsdatenvek- 
toren TDVi , der Rauschtermvektoren e bzw. der Eingangsdaten- 
5 vektoren z bezeichnet. 

Der Ruckwartsf ehler RFj wird fur jeden Eingang j des neurona- 
len Netzes NN individuell ermittelt, wobei mit einem Index j 
jeweils eine Komponente des Eingangsdatenvektors z bzw. ein 
10 Eingang des neuronalen Netzes NN eindeutig bezeichnet wird, . 

Dies erfolgt beispielsweise nach dem bekannten Gradientenab- 
stiegs-Verf ahren zum Trainieren des neuronalen Netzes NN. So- 
mit ergibt sich der Ruckwartsf ehler RF des Eingangsdatenvek- 
15 tors z aus den jeweiligen partiellen Ableitungen des Restfeh- 
lers RE nach den einzelnen Eingangssignalen Zj . 

RFj = (2) . 

20 Mit dem Symbol t wird jeweils ein Zeitpunkt eindeutig gekenn- 
zeichnet, zu dem die Ermittlung des Ruckwartsf ehlers RFj er- 
folgt. 

Unter Beriicksichtigung des Ruckwartsf ehlers RFj wird nun in 
25 einem dritten Schritt (103) eine statistische Verteilung Sj 
fur jeden Eingang j des neuronalen Netzes NN gebildet . 

Als statistische Verteilung Sj kann allgemein jede beliebige 
statistische Verteilung zur Beschreibung eines Zuf allsprozes- 
30 ses verwendet werden. 

Im folgenden werden zur einfacheren Darstellung jedoch nur 
eine uniforme statistische Verteilung und eine gauSformige 
statistische Verteilung Sj naher erlautert. 

35 
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Fur die uniforrne Verteilung ergibt sich eine uniforme Vertei 
lungsbreite Sj beispielsweise nach folgender Vorschrift: 



X _ 



-r Z 



k = l 



d2> 



(3) 



Der Rauschterm e-jt, der zur Bildung mindestens eines kiinst li- 
chen Trainingsdatenvektors KTDV verwendet wird, liegt im Be- 
reich des Intervalls : 



1. •,'«[-?-«?] 



(4) 



Bei einer gaufif ortnigen Verteilung ergibt sich die Rauschbrei 
te sj" nach der f olgenden Vorschrift : 



15 



■it 



k = l 



\2 



8E K 



(5) 



Der Rauschterm ej fc ergibt sich fur diesen Beispielsf all nach 
folgender Vorschrift: 



20 ej eN(o,^) 



(6) 



25 



Mit N ^°'^/^j wird ein normal verteilter Zuf allsprozeS mit 
einem Mittelwert 0 und der Standardabweichung ^s^~ 



bezeich- 



net 



Unter Verwendung der jeweiligen stat istischen Verteilung Sj 
wird der mindestens eine kunstliche Trainingsdatenvektor KTDV 
generiert (104). 
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Anschaulich bedeutet dies, daS der kunstliche Trainingsdaten 
vektor KTDV durch den jeweils durch die statistische Vertei- 
lung Sj beschriebenen Zuf allsprozeE generiert wird. 

5 Durch diese Vorgehensweise haben die kunstlichen Trainingsda 
tenvektoren KTDV statistisch die gleichen Eigenschaf ten wie 
die original verf ugbaren Trainingsdatenvektoren TDVi . 

Dies kann durch Verrauschen mit einem einheitlichen 
10 RauschprozeS, wie dieser aus dem Dokument [1] bekannt ist, 
nicht erreicht werden. 

Anschaulich laEt sich das Verfahren f olgendermaSen beschrei- 
ben. Die Eingangsdaten, reprasentiert durch die original ver 
15 fiigbaren Trainingsdatenvektoren TDVi, werden mit einem Zu- 
fallsprozeS verrauscht , der fur jeden Eingang abhangig ist 
von der jeweiligen Gradienten-Fehlerf unktion nach den Ein- 
gangssignalen . 

20 Die jeweilige Rauschbreite kann anschaulich folgenderma- 
6en interpretiert werden: 

- Kleine Werte von s^* werden durch Eingange erzeugt, die ei- 
ne gute Abbildung auf die Trainingsdaten erzeugen. 

25 

- Kleine Werte der Rauschbreite s^ konnen aber auch auf un- 

wichtige, fur das Training des neuronalen Netzes NN nicht re 
levante Eingange hinweisen. 

30 In beiden Fallen ist es im Sinne der Aufgabe, da£ kein oder 
nur wenig Rauschen zu den urspriinglich vorhandenen Trainings 
datenvektoren TDVi hinzugefugt wird. 

- GroSe Werte der Rauschbreite s^ deuten darauf hin, daS der 
3 5 Eingang j erhebliche Bedeutung aufweist, aber das neuronale 
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Netz NN bisher nicht in der Lage ist, eine adaguate Abbildung 
zu lernen. 

- Rauschen auf Eingangen mit einer groSen Rauschbreite sj* 

"versteift" das neuronale Netz NN, wodurch ein Ubertrainieren 
verhindert wird, was zu einer besseren Verallgemeinerungsfa- 
higkeit des neuronalen Netzes NN fuhrt. 

Dieses Verfahren kann besonders vorteilhaft in Anwendungssi- 
tuationen verwendet werden, in denen nur eine relativ geringe 
Anzahl von Trainingsdatenvektoren TDVi zum Trainieren des 
neuronalen Netzes NN verfiigbar ist . 

Durch das Verfahren kann die Trainingsdatenmenge TDM kunst- 
lich erheblich erweitert werden zu einer erweiterten Trai- 
ningsdatenmenge KTDM, ohne die eigentliche Systemdynamik zu 
verfalschen, da die statistischen Eigenschaf ten der Trai- 
ningsdatenmenge TDM auch in den kiinstlichen Trainingsdaten- 
vektoren KTDV enthalten sind. 

Eine typische Anwendungssituation des Verfahrens liegt in der 
Analyse von Finanzmarkten, beispielsweise von Akt ienmarkten 
oder auch Wertpapiermarkten . 

Wird zum Trainieren des neuronalen Netzes NN ein sog . Online- 
Lernverf ahren eingesetzt, bei dem wahrend der Generalisie- 
rungsphase des neuronalen Netzes NN weitere Trainingsdaten- 
vektoren TDV ermittelt werden, mit denen das neuronale Netz 
NN in der General isierungsphase weiter trainiert wird, so ist 
es in einer Weiterbildung des Verfahrens vorgesehen, abhangig 
von der Anderung der Trainingsdatenmenge TDM, die durch die 
Trainingsdatenvektoren TDVi gebildet wird, auch die statisti- 
schen Verteilungen Sj anzupassen. Dies kann beispielsweise 
fur eine uniforme Verteilung nach folgender Vorschrift erfol- 
gen : 
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s. 



t+1 _ 



= (1 - a) 



Sj + a 



3z* 



(7) 



Fur eine gauSformige statist ische Verteilung Sj kann bei- 
spielsweise folgende Adapt ionsvorschr if t eingesetzt werden 



(sr 1 ) 2 = 



(i 



+ a 



J J 



(8) 



Mit a wird ein Adaptionsf aktor bezeichnet 



10 Es hat sich als vorteilhaft herausgestellt , als Wert fur den 
Adaptionsf aktor a den Kehrwert der Anzahl der Trainingsdaten- 
vektoren TDVi zu verwenden. 
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[2] G. Deco und D: Obradovic, An Information-Theoretic 

Approach to Neural Computing, Springer Verlag, New York, 
10 USA, ISBN 0-387-94666-7, S. 23 - 37, 1996 

[3] H. Zimmermann und Rehkugler, Neuronale Netze in 
der Okonomie, Kapitel 1, Neuronale Netze als 
Entscheidungskalkul , Vahlen Verlag, Miinchen, 
15 ISBN 3-8006-1871-0, S. 3 - 20, 1994 

[4] L . Holmstroni und P. Koistinen, Using Additive Noise in 
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Pa t ent anspruche 

1. Verfahren zur rechnergestiitzten Generierung mindestens ei- 
nes kunstlichen Trainingsdatenvektors fur ein Neuronales Netz 

5 (NN) , . 

- bei dem ein Restfehler (RE) nach einem Training des Neuro- 
nalen Netzes (NN) mit Trainingsdatenvektoren (TDVi) einer 
Trainingsdatenmenge (TDM) ermittelt wird (101) 

- bei dem aus dem Restfehler (RE) fur mindestens einen Ein- 
10 gang (j) des Neuronalen Netzes (NN) ein Ruckwartsf ehler (RFj) 

ermittelt wird (102), 

- bei dem jeweils eine dem Eingang (j) zugeordnete statisti- 
sche Verteilung (Sj ) generiert wird, die von der GroSe des 
jeweiligen Ruckwartsf ehlers (RFj) abhangig ist (103), 

15 - bei dem der kiinstliche Trainingsdatenvektor generiert wird 
unter jeweiliger Verwendung der einem Eingang (j) zugeordne- 
ten statistischen Verteilung (Sj) (104). 

2. Verfahren nach Anspruch 1, 

20 bei dem der Ruckwartsf ehler (RFj) mit einem Gradientenab- 
stiegsverf ahren ermittelt wird. 

3. Verfahren nach Anspruch 2, 

bei dem das Gradientenabstiegsverf ahren mit einem Backpropa- 
25 gation -Verfahren realisiert wird. 

4. Verfahren nach einem der Anspruche 1 bis 3, 

bei dem die statistische Verteilung (Sj) durch eine uniforme 
Verteilung gebildet wird, wobei eine Verteilungsbreite der 
30 uniformen Verteilung von dem Ruckwartsf ehler (RFj) abhangig 
ist . 

5. Verfahren nach einem der Anspruche 1 bis 3, 

bei dem die statistische Verteilung (Sj) durch eine gaufifor- 
35 mige Verteilung gebildet wird, wobei eine Verteilungsbreite 

der gaufiformigen Verteilung von dem Ruckwartsf ehler (RFj) ab- 
hangig ist. 
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6. Verfahren nach Anspruch 4 oder 5, 

bei dem bei einer Online -Approximation des Neuronalen Netzes 
(NN) nach einer beliebigen Anzahl neuer Trainingsdatenvekto- 
5 ren (TDVi) die statistische Verteilung (Sj) an einen neu er- 
mittelten Riickw&rtsf ehler angepafit wird. 

7. Verfahren nach einem der Anspruche 1 bis 6 eingesetzt zur 
Modellierung einer nichtlinearen Funktion, die mit einer ge- 

10 ringen Anzahl von Trainingsdatenvektoren beschrieben wird. 

8. Verfahren nach einem der Anspruche 1 bis 6 eingesetzt in 
der Analyse eines Finanzmarktes . 

15 9. Vorrichtung zur rechnergestiitzten Generierung mindestens 
eines kunstlichen Trainingsdatenvektors fur ein Neuronales 
Netz (NN) , 

mit einer Recheneinheit , die derart eingerichtet ist, daS 

- ein Restfehler (RE) nach einem Training des Neuronalen Net- 
20 zes (NN) mit Trainingsdatenvektoren (TDVi) einer Trainingsda- 

tenmenge (TDM) ermittelt wird (101) , 

- aus dem Restfehler (RE) fur mindestens einen Eingang (j) 
des Neuronalen Netzes (NN) ein Ruckwartsf ehler (RFj) ermit- 
telt wird (102) , 

25 - jeweils eine dem Eingang (j) zugeordnete statistische Ver- 
teilung (Sj) generiert wird, die von der GroSe des jeweiligen 
Ruckwartsfehlers (RFj) abhangig ist (103), 

- der kiinstliche Trainingsdatenvektor generiert wird unter 
jeweiliger Verwendung der einem Eingang (j) zugeordneten sta- 

30 tistischen Verteilung (Sj) (104). 

10. Vorrichtung nach Anspruch 9, 

bei der die Recheneinheit derart eingerichtet ist, dafi der 
Ruckwartsf ehler (RFj) mit einem Gradient enabstiegsverf ahren 
35 ermittelt wird. 

11. Vorrichtung nach Anspruch 9 oder 10, 
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bei der die Recheneinheit derart eingerichtet ist, daS die 
statistische Verteilung (Sj ) durch eine unif orme Verteilung 
gebildet wird, wobei eine Verteilungsbreite der uniformen 
Verteilung von dem Riickwartsf ehler (RFj) abhangig ist.. 

5 

12. Vorrichtung nach einem der Anspruche 9 bis 11 , 

bei der die Recheneinheit derart eingerichtet ist, dafi die 
statistische Verteilung (Sj ) durch eine gauEformige Vertei- 
lung gebildet wird, wobei eine Verteilungsbreite der gauSfor- 
10 migen Verteilung von dem Riickwartsf ehler (RFj) abhangig ist. 

13. Vorrichtung nach Anspruch 11 oder 12, 

bei der die Recheneinheit derart eingerichtet ist , daS bei 
einer Online-Approximation des Neuronalen Netzes (NN) nach 
15 einer beliebigen Anzahl neuer Trainingsdatenvektoren (TDVi) 
die statistische Verteilung (Sj) an einen neu ermittelten 
Ruckwartsf ehler angepafit wird. 

14. Vorrichtung nach einem der Anspruche 9 bis 13 eingesetzt 
20 zur Modellierung einer nichtlinearen Funktion, die mit einer 

geringen Anzahl von Trainingsdatenvektoren beschrieben wird. 

15. Vorrichtung nach einem der Anspruche 9 bis 13 eingesetzt 
in der Analyse eines Finanzmarktes . 
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Ermittlung eines Restfehlers 



102 



103- 



Ermittlung eines Ruckwartsfehlers 
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Bildung einer statistischen Verteilung 
fur jeden Eingang abhangig von dem 
Ruckwartsfehler des jeweiligen 
Eingangs 
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^ Generierung mindestens eines 
kunstlichen Trainingsdatenvektors 
unter Verwendung der statistischen 
Verteilung 
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